![[アップデート] Amazon Bedrock Marketplace が発表されました #AWSreInvent](https://devio2024-media.developers.io/image/upload/v1733360910/user-gen-eyecatch/dyjc4ya1gpelhkthqme3.png)
[アップデート] Amazon Bedrock Marketplace が発表されました #AWSreInvent
2024.12.05こんにちは！AWS 事業本部コンサルティング部のたかくに（@takakuni_）です。
re:Invent 2024 でラスベガスに来ています。
3 日目のキーノートにて Amazon Bedrock Marketplace が発表されました。
機能紹介
Amazon Bedrock Marketplace は従来提供されていた Anthropic, Cohere, Meta などの主要ベンダーに加えて、 Bedrock 上で 3rd Party のモデルを利用できる機能です。対象のモデルをサブスクライブ、デプロイすることで、Bedrock や SageMaker 経由でモデルの推論を実行できるようになります。
デプロイしたモデルが Converse API と互換性があるモデルの場合は、Amazon Bedrock Agents、Amazon Bedrock Knowledge Bases などの周辺機能と統合できる部分もポイントです。（すごいですね）
執筆時点ではリージョンは東京を含む 14 リージョンで展開されています。
Amazon Bedrock Marketplace is available in the following AWS Regions: US East (N. Virginia), US East (Ohio), US West (Oregon), Asia Pacific (Mumbai), Asia Pacific (Seoul), Asia Pacific (Singapore), Asia Pacific (Sydney), Asia Pacific (Tokyo), Canada (Central), Europe (Frankfurt), Europe (Ireland), Europe (London), Europe (Paris), and South America (São Paulo).
Amazon Bedrock Marketplace brings over 100 models to Amazon Bedrock
ただし、リージョンごとに利用可能なモデルの数は異なるため、利用したいモデルが利用したいリージョンにあるかどうかは要チェックです。
東京リージョンの Amazon Bedrock Marketplace
オレゴンリージョンの Amazon Bedrock Marketplace
モデルの見方について
今回の Amazon Bedrock Marketplace で利用可能なモデルは Model catalog から確認できます。
モデルを選択すると、詳細画面に移ります。
Delivery method に Amazon SageMaker と Amazon Bedrock がありますが、この部分はおそらく SageMaker JumpStart, Amazon Bedrock Marketplace に対応しているかの可否を表しています。
なお、事前にモデルをデプロイした時に発生する料金が詳細画面から確認できます。
モデルのデプロイについて
モデルのデプロイは SageMaker エンドポイント経由でデプロイになります。
モデルの呼び出しは、 Converse または InvokeModel API で呼び出します。再度になりますが、 Converse API に対応していれば、Amazon Bedrock Knowledge bases 等の周辺機能とも統合しています。
aws bedrock-runtime converse --model-id arn:aws:sagemaker:region:111122223333:endpoint/example-endpoint-name --messages '[{"role": "user", "content": [{"text": "Describe the purpose of a \"hello world\" program in one line."}]}]'
aws bedrock-runtime invoke-model --model-id arn:aws:sagemaker:region:111122223333:endpoint/example-endpoint-name --body '{"inputs": "Hello? How are you?", "parameters": {"details": true}}' --cli-binary-format raw-in-base64-out test.txt
Converse API に対応しているかどうか
Converse API に対応しているかどうかはドキュメントに記載がありました。設計時はこちらを要チェックです。
ストリーミング可否も合わせて抑えておくと良いですね。KARAKURI LM 8x7b instruct の場合は、 Converse API に対応していないもののストリーミングは対応していました。
やってみたかった
今回の機能をやってみたかったのですが、 Service Quotas からインスタンスタイプの利用申請が必要でした。
サポートケースを切ったものの、承認されるまで時間がかかるため承認され次第更新します。
まとめ
以上、「Amazon Bedrock Marketplace が発表されました。」でした。
多くのモデルを Bedrock 経由で動かせる部分、大変魅力的ですね。生成 AI の利用がより活発になりそうな印象を受けました。
このブログがどなたかの参考になれば幸いです。
AWS 事業本部コンサルティング部のたかくに（@takakuni_）でした！
![[レポート] SnowflakeとAWSのセキュアでスケーラブルな生成AI活用のアーキテクチャについて学ぶ #AWSreInvent #AIM267](https://images.ctfassets.net/ct0aopd36mqt/3IQLlbdUkRvu7Q2LupRW2o/edff8982184ea7cc2d5efa2ddd2915f5/reinvent-2024-sessionreport-jp.jpg)
